Amazon Data Firehose
from AWS SAA学習ログ｜Ping-tを活用して本番試験に慣れる 2024/7/12
質問.iconAmazon Data Firehoseとは？
リアルタイムのデータストリーミングサービス
データをキャプチャ、変換、ロードするためのフルマネージドサービスで、データをAmazon S3、Amazon Redshift、Amazon Elasticserch Service、Splunkなどに配信する
データの収集と変換を自動化し、迅速にデータを分析できるようになる
質問.iconコスト観点
データ取り込み
取り込むデータ量に基づいて課金される
データ変換
データ変換するために使用されるLamda関数の実行時間に応じて課金される
データ配信
配信先へのデータ転送量に基づいて課金される
質問.iconパラメータ
デスティネーション
データ配信する先を設定する
バッファリングオプション
データのバッファリングサイズとバッファリング時間を設定し、リアルタイム性とスループットのバランスを調整
データ変換
AWS Lamda関数を使用して、データを配信前に変換するためのオプションを設定する
エンコーディング形式
配信するデータのエンコーディング形式(JSON/CSV/Parquet)を指定する
圧縮
配信するデータを圧縮するオプションを設定
質問.iconビジネスにおける主要ユースケース
リアルタイムログとイベントの収集
アプリケーションのログやイベントデータをリアルタイムに収集し、Amazon S3やElasticserchに配信してモニタリングや分析を行う
IoTデータストリーミング
IoTデバイスからのデータをリアルタイムに収集し、Amazon Redshiftにロードして、データウェアハウスでの分析を迅速に行う
データウェアハウスのフィード
トランザクションデータやクリックストリームデータをリアルタイムに収集し、Amazon Redshiftにロードして、データウェアハウスでの分析を迅速に行う